#линейная сложность

MemAgent представляет собой RL-агента памяти, позволяющего LLM эффективно работать с очень длинными документами, сохраняя высокую точность и линейные вычислительные затраты.

RWKV-X представляет гибридную модель, объединяющую разреженное внимание и рекуррентную память для эффективного декодирования очень длинных последовательностей с линейной сложностью, превосходя предыдущие модели RWKV в задачах с длинным контекстом.